当敷地は、江戸時代のはじめ、幕府の老中、大老土井大炊頭利勝の屋敷があったところである。利勝は天正元（1573）年の生まれ幼時より徳川家康の信任あつく、二代将軍秀忠の誕生の時から秀忠に仕え、慶長15（1610）年老中となり、三代将軍家光にも重く用いられて寛永15（1638）年大老となった。領地は、度々移動したが、最後は下総国（茨城県）古河藩18万石。老中としてたびたび上洛して、朝廷との交渉にあたり、二条城にあって万事を差配した。この屋敷はいつ設けられたかは明らかでないが、寛永15年の地図に見える。上洛の時は、ここを宿所にした訳である。利勝は正保元（1644）年に没したが、子孫も老中や京都所司代となり。幕末までこの屋敷を維持した。